CVSearch: Empowering Multimodal LLMs with Cognitive Visual Search for High-Resolution Image Perception
CVSearch：基于认知视觉搜索的多模态大模型高分辨率图像感知
🧭 多模态LLM高分辨率认知视觉搜索 ★ 深度解读
哈尔滨工业大学（深圳） · 鹏城实验室 · 中国科学院深圳先进技术研究院
训练自由的认知评估-搜索框架，通过语义引导自适应分块与动态自底向上搜索，实现覆盖与效率平衡的高分辨率视觉搜索。
📌 工作参考价值（4 点）
- 搜索框架可作为电商图像理解的即插即用组件：在商品详情图、用户评价图等场景中，需要对高分辨率图像中的小目标（如标签、瑕疵）进行细粒度感知，可借鉴CVSearch的训练自由范式，无需重新训练即可集成到现有MLLM工作流中。
- 语义引导的自适应分块避免固定网格碎片化：电商图像中商品常跨多个裁剪区域，SGAP方法利用视觉专家特征进行超像素聚类，生成语义一致的块，可用于优化多模态检索或生成式推荐中的图像预处理，减少语义断裂。
- 动态自底向上搜索提升小目标召回：在商品搜索或Agent视觉导航中，小物体（如细颗粒度属性）容易被忽略，采用从局部到全局的底向上搜索策略，并结合视觉复杂度优先探索有价值区域，可提高感知鲁棒性，减少错误传播。
- 评估-搜索工作流平衡效率与鲁棒性：对于需要处理大量图片的推荐系统，可以设计类似的信息充分性评估机制，仅对困难样本启动昂贵的搜索过程，从而在保证精度的同时大幅降低整体延迟。